package com.hngy.scala

import org.apache.spark.{SparkConf, SparkContext}


/**
  * 需求：foreachPartition的使用
  */
object ForeachPartitionOpScala {

  def main(args: Array[String]): Unit = {
    val conf = new SparkConf()
    conf.setAppName("ForeachPartitionOpScala")
      .setMaster("local")
    val sc = new SparkContext(conf)

    //设置分区数量为2
    val dataRDD = sc.parallelize(Array(1,2,3,4,8),2)
    dataRDD.foreachPartition(it=>{
      //在此处获取数据库链接
      println("===============")
      it.foreach( item=>{
        //在这里使用数据库链接
        println(item)
      })
      //关闭数据库
    })

    sc.stop()
  }

}
